Het Kasteel van Woerden is als burcht gebouwd door Hertog Jan van Beieren, heer van Woerden, in de jaren rond 1410. Het heeft een vierkante plattegrond, bestaande uit vier vleugels rond een binnenplaats. Op de hoeken bevinden zich ronde torens, waarvan er drie sterk zijn verlaagd, terwijl de vierde door een gevangenis is vervangen. Het kasteel was vroeger geheel door water omgeven en een ophaalbrug diende als toegang. In de loop van de jaren heeft het kasteel vele bestemmingen gehad. Onder andere huisvestte het verdedigingsbolwerk na de tachtigjarige oorlog lange tijd de baljuw van het land van Woerden en dijkgraaf van het Grootwaterschap van Woerden. In het jaar 1787 vergaderde er de Commissie van Defensie. Dit militair burgercomité (bestaande uit patriotse regenten) probeerde met behulp van vrijkorporisten en beroepsmilitairen het gewest Holland te verdedigen tegen aanvallen van de prinsgezinden.

Het kasteel heeft eveneens vele jaren als gevangenis gediend. Van 1795- 1798 als staatsgevangenis, daarna tot 1800 als hospitaal voor Engelse en Russische soldaten. Tot 1811 stond het kasteel leeg en werd dan hospitaal voor Franse militairen tot 1812. In 1814 werd er een aantal Franse krijggevangenen opgesloten. Van 1818-1824 had het kasteel de bestemming van militaire strafgevangenis voor maximaal 450 personen. Daarna, van 1830- 1860, is het kasteel gevangenis voor "criminele manspersonen" en verblijven er wel eens meer dan 500 gevangenen. In 1861 wordt het gebouw gevangenis voor "criminele vrouwspersonen" onder andere in de bij de restauratie inmiddels gesloopte lage westvleugel (kerkzijde). In 1872 houdt Woerden op gevangenisstad te zijn. Het jaar daarop krijgt het kasteel met een aantal bijgebouwen de bestemming van "Centraal Magazijn van kleding en uitrusting" van het Ministerie van Oorlog. Ondanks allerlei naamswijzigingen die in het verleden hebben plaatsgehad, spreekt men in de volksmond nog steeds van "het magazijn". Tot aan de huidige restauratie is deze bestemming van het kasteel gebleven, want in de loop der eeuwen heeft het gebouw vele verbouwingen en restauraties gekend. De voorvleugel is nog het best in tact gebleven.

In 1887 restaureerde men de voorvleugel waarbij de al aanwezige pleisterlaag onaangetast bleef. Deze verdween na veel heen en weer geschrijf ten slotte tegelijk met het voor de voorvleugel nog aanwezige wachthuis in 1937. Tijdens de "magazijnperiode" werd de voorvleugel bewoond door de diverse commandanten, ook in de periode 1940-1945. Nadien werd het gebouw nog bewoond door een huisbewaarder en werd het vooral opslagplaats. In de jaren zeventig kwam een brede gedachtenwisseling op gang over de uiteindelijke bestemming van het gebouw, wat resulteerde in de oprichting van de "Stichting het Kasteel van Woerden" met als doel "het behouden, restaureren en exploiteren van het gebouw". De Stichting Het Kasteel van Woerden verhuurt het kasteel aan de Stichting Vrienden van het Kasteel. Deze stichting verhuurt het Kasteel door aan Abrona, Restaurant Grand Kasteel en Zorgorganisatie Allerzorg. Abrona beheert in het Kasteel sinds november 2006 28 appartementen gerealiseerd voor mensen met een verstandelijke beperking.